Tống Cao Tông vượt Trường Giang, triệu Văn làm Xu mật viện Chuẩn bị tướng; ông tham gia bắt Miêu Phó giao cho Hàn Thế Trung, nhờ công được thăng làm Hoài Đông, Chiết Tây, Duyên hải thủy quân đô thống chế. Chư tướng Tống vốn đố kỵ tài năng của Văn, lại thêm bấy giờ Lý Thành, Khổng Ngạn Chu đều quy phục nhà Lưu Tề, khiến triều đình cũng nghi ngờ ông có ý muốn quay về miền bắc. Đại tướng Diêm Cao có hiềm khích với Văn, nhân đó gièm pha ông; triều đình Tống sai Thống chế Chu Sư Mẫn tập kích Văn, ông bèn đem vài mươi cỗ chiến hạm vượt bể quy hàng nhà Lưu Tề. Chánh quyền Lưu Tề lấy Văn làm Hải, Mật 2 châu Thương hải đô chiêu tróc sứ kiêm Thủy quân thống chế, thăng làm Hải đạo phó đô thống kiêm Hải đạo tổng quản, ban đai vàng. Văn hiến kế cho Lưu Dự, muốn theo đường biển tập kích Lâm An, Dự không thể dùng.